json - 区分 XBRL、XML、CSV 和 JSON
全部标签 我每12小时在我的亚马逊EC2微型实例上运行一次cron作业。它下载118MB的文件并使用json库解析它。这当然会使实例内存不足。我的实例有416MB的可用内存,但随后我运行脚本,它下降到6MB,然后被操作系统杀死。我想知道我在这里有什么选择?是否可以通过Ruby有效地解析它,或者我是否必须下降到像C这样的低级东西?我可以获得一个功能更强大的亚马逊实例,但我真的很想知道是否可以通过Ruby做到这一点。更新:我看过yajl。它可以在解析时为您提供json对象,但问题是,如果您的JSON文件仅包含1个根对象,那么它将被迫解析所有文件。我的JSON看起来像这样:--Root-Obj1-Ob
我使用了spreadsheetgem去做这个。它可以工作,但有时可能会很慢。我什至尝试了Roogem,但这并没有提高性能。有没有更好的方法来完成这项工作?奇怪的是,在同一个excel中,有些工作表运行速度更快,有些工作表运行速度非常慢,甚至需要长达1小时。我们能否使用openoffice在单个excel中打开每个工作表(选项卡)并将它们更快地转换为csv?如果是,我将如何使用ruby来实现?或者有更好的解决方案吗?只是添加一个我尝试使用Roogem的小例子xls=Roo::Excel.new(source_excel_file)xls.each_with_pagenamedo|na
我有一个看起来像这样的JSON数组。[{"name":"Idaho","state":{"id":1,"name":"A"}},{"name":"Wyoming","state":{"id":1,"name":"A"}},{"name":"Montana","state":{"id":2,"name":"B"}},{"name":"SouthDakota","state":{"id":1,"name":"B"}}]我如何使用Ruby只显示A的值?我不认为sort_by会是答案,因为我下面的内容只是按字母顺序对它们进行排序。我想完全排除B的所有结果。.sort_by{|a|[a.stat
我得到了这个json和created_time值以integer格式显示时间,而不是及时格式,但我希望这个created_time格式正确。如何以正确的格式获取created_time?"filter"=>"Normal","created_time"=>"1421677966","link"=>"http://instagram.com/p/yCfw5sKorK/","likes"=>{"count"=>1,"data"=>[{"username"=>"nikhil.thombare","profile_picture"=>"https://instagramimages-a.aka
我正在尝试上传一个csv文件,但收到UTF-8中的无效字节序列错误。我正在使用“roo”gem。我的代码是这样的:defupload_results_csvfilespreadsheet=MyFileUtil.open_file(file)header=spreadsheet.row(1)#THISLINERAISESTHEERROR(2..spreadsheet.last_row).eachdo|i|row=Hash[[header,spreadsheet.row(i)].transpose]......endclassMyFileUtildefself.open_file(file
我正在从数据库查询中检索大量结果哈希并将它们写入csv文件。下面的代码块获取结果并创建CSV。使用quote_char:选项,它将用NULL字符替换引号,我需要这些字符才能正确创建制表符分隔的文件。但是,NULL字符在加载到目的地时会被转换为“”,因此我想删除它们。如果我省略quote_char:,每个字段都用双引号引起来,这会导致相同的结果。如何删除NULL字符?beginCSV.open("#{file_path}"'file.tab',"wb",Options={col_sep:"\t",quote_char:"\0"})do|csv|csv 最佳答案
我遇到问题,我需要下载、解压缩,然后逐行处理一个非常大的CSV文件。我认为让您了解文件有多大很有用:big_file.zip~700mbbig_file.csv~23gb这是我希望发生的一些事情:解压缩前不必下载整个文件在解析csv行之前不必解压缩整个文件在执行所有这些操作时不要占用太多内存/磁盘我不知道这是否可能。这是我的想法:require'open-uri'require'rubyzip'require'csv'open('http://foo.bar/big_file.zip')do|zipped|Zip::InputStream.open(zipped)do|unzipped
我使用Sinatra创建了一个简单的API,它根据提交的JSON数据发送电子邮件。我可以创建一个表单,通过表单提交JSON数据,然后访问参数以获取电子邮件的收件人、主题和正文。但是,我正在尝试使用cURL来测试API,但似乎无法正常工作。我假设我在cURL请求中的格式被破坏了。下面是我尝试过的cURL请求以及params的输出以及尝试使用JSONgem解析params。我倾向于使用一个巨大的键来获取参数,该键是我的JSON数据字符串,值为nil。我尝试添加Content-Type:application/json,当我这样做时,params为空。curl-XPOST-H"Accept:
在设法通过C#将数据加载到我的Rails服务器之后(查看here了解我在说什么),我现在尝试将一个文件连同其他数据一起上传到同一服务器。在Ruby中,我可以用代码做到这一点:require'HTTMultiParty'classReceiptCreateincludeHTTMultiParty#Logtofile#debug_outputFile.new("httparty1.log","w+")base_uri"localhost:3000"format:jsonheaders"Accept"=>"application/json"definitializeenddefpost(ma
基本上,我有一个属于:companies的对象,并且具有:company_id属性。当我呈现json:@coupons时,JSON是否可能包含其所有者的属性而不是company_id? 最佳答案 你也许可以做一些类似render:json=>@coupons.to_json(:include=>:company)的事情,至少它似乎在我最初的rails2.3测试中有效.8.答案已编辑为使用:include=>:company而不是:include=>:companies 关于ruby-on